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(57) Abstract: Algorithms for processing digitized images (digitally recorded, for example, by digital CCD or CMOS cameras, 
or analogally recorded by analog CCD cameras and subsequently converted in analog/digital converters) and for processing the 
information contained therein require, according to use, an extremely high amount of computing. Computer hardware, which is spe- 
cialized for vector calculaUon and color mixture, so-called graphical processing units GPU (e.g. so-called 3D-accelerated graphics 
cards, preferably having the OpcnGL standard and/or Direct X standard that are/is implemented on the hardware), and which has 
been developed particularly for entertainment electronics (computer games and animation) or for the depiction of three-dimensional 
structures (CAD), includes realizations of image processing algorithmics based on semiconductor technology. The inventive im- 
plementation of an item of hardware of the aforementioned type as an essential part of image processing enables an economically 
sensible realization of a computer performance required for carrying out real-time image processing. According to the invention, 
the GPU (also denoted, in part, as a VPU video processing unit) is not used in a conventional manner (namely for transforming 
artificial three-dimensional worlds into a two-dimensional view that is as realistic as possible on a display screen, but instead is used 
for the contrary by transforming real two-dimensional views (generally speaking: camera images) in order to determine the actual 
geometries prevailing in the real three-dimensional space. 

[Fortsetzung auf der nachsten Seite] 
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(57) Zusammenfassung: Algorithmen zur Bearbeitung von digitalisierten Bilder (digital aufgenommen beispielsweise durch di- 
gitate CCD- oder CMOSKameras, oder analog aufgenommen durch analoge CCD-Kameras und anschliessend in Analog-Digital- 
Wandlem konvertiert) und der darin enthaltenen Informationen sind je nach Anwendung extrem rechenaufwendig, Auf Vektorrech- 
nung und Farbmischung spezialisierte Computer Hardware sogenannte Graphical Processing Units GPU (z.B. sog. 3D-beschleumgte 
Grafikkarten vorzugsweise mit hardwaresei tig implementiertem OpenGL- und / oder Direct-X -Standard), die vornehmlich fur die 
Unterhaltungselektronik (Computerspiele und -animation) oder die Darstellung von 3-dimensionalen Konstruktionen (CAD) entwi- 
ckelt wurde beinhalten Realisierungen von Bildverarbeitungsalgorithmik auf Basis der Halbleiterlechnik. Durch die erfindensche 
Implcmcnticrung eincr solcher Hardware als wescnUicher Teil der Bildverarbcitung, kann eine Tur cine Echlzcit-Bildvcrarbcitung 
notwcndigc Rcchncrlcistung wirtschaftlich sinnvoll rcalisicrt wcrdcn. In crfindcrischer Wcise wird hicrbei die GPU (tcilweise auch 
als VPU - Video Processung Unit bczcichnct) nicht in bisher ublichcr Wcise vcrwandt (namlich zur Transformation von synthischcn 
3-dimensionalen Welten in eine moglichst realistische 2-D Ansicht auf einem Bildschirm), sondern gerade umgekehrt, namlich zur 
Transformation realer 2-D Ansichten (im allgemeinen: Kamerabilder) urn daraus die tatsachlich im realen 3-dimensionalen Raum 
vorherrschenden Geometrien zu ermitteln. 
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t.imierter Hardware 



Bis Erfindung bstrifft sins vorrichtung u„d sin Vsrfahrsn 
10 nach da* Obarbsgritf der PatsntansprOchs 1 und 5. 

ilg crith™an zur Baarbsitung ^^^JZ'- 
tal aufgsnomman baispialaweisa durch digitale o 
^.sras odsr analog aufgsno^an durch analogs CCB-Karcsras 
„ "chUaGsnd in Analog-Bigital-Wandlern 

L darin anthaltanan mfomationen sind J. nach Anwandung 
extrem rechenauf wendig . 

Bishsr wird dia Bildvararhaitung i» allga m ainen auf frai pro- 
20 gra-arbaran Rachaneinhait (cantral Procassi ng »t, CPU 
lpls*,sntisrt. Bis RschsnKapazitat dar CPU 1st ™*~J" 
nlitiarsnds Factor fur dia Infor^ationsaufbsrsitung und -ga- 
1^. Bis Bandung redundantar odar arg»nzander Algorith- 
"a zur wachselzeitigsn Kontrolls dar Brgabniasa rat aua 
25 "t lichen GrOndsn oft nicht .oglich. Viola Applitationen un- 
^iagan dar .Vidao-Bcht— srun, £ —g 
dar informationan ainas Bildaa in dar Zsit, bia 
Bild ,ur varfugung ataht. Viala Karcaras arbeitsn », . nar 
Bildrata von 2 5 Hz, d.h. aa atahan 4 0m a an Rachsnzs t zur 

. run auch die Rechenlei- 

30 varfugung. Da durch die varwandata CPU auch 

stung begranzt iat, sind der Informationsauswartung klara 
r anzan gasstzt, selbst i« Hir^lic, darauf, daaa in an Utz- 
tan oahran Prozeasoran atatig ataiganda Rechenleistung 
auf danMarkt g*»» sind. Aus diassn, Grand sind vial Be 
35 arbaitungaschritta, dia z„ischenzeitlich algorithms* ba- 
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herrscht werden nicht einsetzbar, da der Zeitaufwand zu hoch 
ist Insbesondere die simultane Anwendung aufwendiger Algo- 
rithmen, z.B. zur Bildverbesserung (Farbwertinterpolation) , 
Informationsaufbereitung (z.B. Umrechnung einer Ansicht in 
eine sog. Vogelperspektive) , Korrektur von Bildfehlern (z.B. 
Verzeichnung durch Linsen- oder Einbauf ehler) und zur Infer- 
mationsgewinnung (Auswertungsalgorithmik, wie Fahrspurerken- 
nung oder Obj ektklassif ikation) sind bei aktuellen Rechner- 
leistungen wirtschaf tlich nicht sinnvoll realisierbar . 



10 



Um eine ausreichende verarbeitungsgeschwindigkeit zu gewahr- 
leisteten ist es deshalb, insbesondere aus der Militartech- 
nik, auch bekannt, spezielle auf die vorliegende Bildverar- 
beitungsaufgabe spezif izierte Prozessoren (ASICS, application 
15 specific integrated circuits) zu verwenden. Bei solchen Pro- 
zessoreinheiten ist es moglich eine spezif ische Verarbeitung- 
salgorithmik hardware -technisch zu realisieren und auf diese 
weise eine hohe Verarbeitungsgeschwindigkeit zu erzielen. Ei- 
ne solche Losung birgt jedoch den Nachteil hoher Gestehungs- 
20 kosten, da nur eine anwenderspezif ische Kleinserie gefertigt 
werden kann, und einer starren Verarbeitungsstruktur, welche 
sich nur sehr, eingeschrankt an sich andernde Anf orderungen, 
welche sich beispielsweise aus den in. Rahmen des Produktent- 
wicklungsprozess entstehenden Erkenntnissen ergeben, anpassen 
25 lassen. 

Aufgabe der Erfindung ist es deshalb, eine Vorrichtung und 
ein Verfahren zur Bildverarbeitung zu finden, welche wirt- 
schaf tlich sinnvoll, hohe Rechnerleistung und flexible Pro- 
30 duktgestaltung garantiert. 

Die Aufgabe wird durch eine Vorrichtung und ein Verfahren mit 
den Merkmalen der Patentanspriiche 1 und 5 gelost. 
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Vorteilhaf te Ausgestaltungen und Weiterbildungen der Erfin- 
dung warden duroh dia abhangigen Patentanspruche beschrzeben. 

Au f Vektorrechnung und Farbmischung spesialisiarte Co^puter- 
5 Hardware sogenannte Graphical Processing Units GPU (,.B. sog. 
3D -bes=hleunigts Graf ikkarten, vorzugsweise It hardwaresez- 
tig i.ple.entierte.n GpenGB- und / Oder Direct-X-Standard) , 
die vomehmlich fur dia Unterhaltungselektronik (corcputer- 
S pieie und -animation, Oder die Darsteliung von 3-di.ensaona- 
10 len Konstruktionen (CAD) entwickelt wurde, beinhaiten ReaU- 
sierungen von Bildverarbeitungsalgorithmik auf Basxs der 
Halbleitertechnik. Duroh die erf inderische I„plementierung 
einer soicher Hardware ais wesentlicher Teii der Bzldverar- 
b eitung, kann aine fur eine Echtzeit-Bildverarbeitung notwen- 
15 dige Rechnerleistung wirtschaftlich sinnvoli realiszert wer- 
J„ in arfindariechar Waise wird hierbei die GPU (te.lwe.se 
auch als VPU - Video Processung Unit bezeichnet) nioht xn 
bi sher ublicher Veise verwandt (narclich zur Transf or.at.on 
vo „ synthisohen 3-dimensionalen Welten in ezne n,ogUchst rea- 
20 listische 2-D Ansicht auf eine m Bildsohirm) , aondern garade 
n^ekehrt, naralich zur Transformation realer 2-D Ansichten 
(i. allgemeinen: Kamerabilder, . daraus dia tatsachlach » 
reaien 3-di.ensionalen Raum vorharrechendan Geometrien zu er- 
mitteln. 

25 Die Brfindung macht somit zwar Gebrauob von ainer allgemein 
bekannten Vorriehtung, namliche ainer GPU, nutzt dzese aber 
in absoluter Abkehr von deran bestimmungsgemaBen Gebrauch. . 
insbesondere die Verbindung des Ausgangs einer Kameraeznhezt 
30 It de« Bingang einer GPU bzw. einer Graphikkarte ist » Rah- 
me n dieser Erfindung erstmalig und wird da. Factaann duroh 
dan Stand der Technik auoh nioht nahegelegt. Xm Gegenterl, 
zeigt der Stand der Technik zur Optiaderung der Verarbez- 
tungskapazitat einar Kamerabiidverarbeitung die Hoglichkezt 
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Vorteilhafte Ausgestaltungen und «eiterbildungen der Erfin- 
"dL du.cn die — Patentanspruche beschrreben. 

Au£ vektorrechnung und Parb^ischung spe,i ; aisierte G^uter- 
Hardware sogenannte Graphical Processing Units GPU (z.B. g 
"hieunigte Graf ikkarten, vorzugsweise .it hardware - 
g i^entterte. OpenG L - und / Oder D irect-X-Standar . 
k ,„h fur die Unterhaltungselektronik (Counter- 

::ir:" a -r d ie « 

K n^ruktionen ,«») entwickeit wurde, heinhaiten aair- 
eierungen von Bildverarbeitungsalgorithmik auf Basra der 
sierungen v ind erische Implementierung 

Halbleitertechnik. Durch dre P 

i^^v w^r-dware als wesentlicner iexx 
el „er soicher Hardware ldverarbeitung no t„en- 

den in erfinderischer Weise wird bierbei die b 

TTr,-ih ^•zeichnet nicht m 
v, a ^ VPU - Video Processung Unit bezeicnne 
auch als VPU vi (n * ml ich zur Transformation 

bisher ublicher Weise verwandt (namlich 
von synthischen 3-dimensionalen Welten in erne 

, , r , namlich zur Transformation realer z u hi 
7: la nln Kamerabiider, u» daraus die tatsachUch i. 
^ "Lensionaien Ban. vorherrschenden Geo.etrien ,u er- 



mitteln. 



25 



30 



Die Brfindung macht so.it zwar Gebrauch von 
bek annten Vorrichtung, ntoliche einer GPU. nu * ^es aber 
in absoluter abkehr von daran bestin^ungsgemaGen Gebrauch. 
s e ondere die verbindung das A usgangs einer 

lner rpu bzw einer Graphikkarte 1st im Rah 
mit- dem Einqang einer 0>PU dzw. ex« 

:l dllser LIndung erst^lig und «ird de. — ^ 
dan Stand dar Technik auch nicht nahegelegt. Im Gegentail, 
t Ig der Stand dar Technik zur Optimierung der Verarber- 
tungskapazitat einer Ka.erabiidverarbaitung die Mogirchkart 
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• 1 1 aenten Frame-Grabber-Karte 
auf die Kamera mit emer intelUgenten 

j * D n^ a t e n vor der eigentlichen Bild- 

^erarrLen. Soicne 

ptt 8/24 der Fa. Active Silicon) ermcglichen es, bar 
snapper-PCI-8/24 der Data -„ a ppers gezieit 

spi els„e l3 e rcrttele e naa 9 nach£olge nd dar 

suaschnitte aua den BlldOaren a „„.,heitunq 
Bildvararbeitung zugefuhrt warden eollen, erne Verarbertung 
der Biiddaten durch aine GP. findet bierbai :edecb nrcnt 



10 statt. 
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•.v.v,=rtpit der GPU wird es auch 

L: e Erfindung bildverarbeitende Gerate zuveriass., r 
Id aus.aUsicberer .emacbt werden, da 

allgem ein ublicne Parana! -Scnaltung erh6h . 

stU n g sstei g erun g entfallt. ^dererseits « 

te Rechenleistuncj, mehr Information in g leicner 

te Recnenie a ^^ib der zur Verf ugung stehen- 

arbeiten, beziehun g sweise mnerhalb der zu 

aroeiteu, izieren, indem die 

rt-n zeit bestimmte Informationen zu Venfiziere , 
^ d^en paraUei dnrcn .enrer Hgeribn^ — 
de , „ al aben — ia-cbe ^SU- 
aen Die Verwendun g emer GPU rur ox 

bidet auch einen wirtschaf tlich optimalen Kompromiss zwi- 
bildet auch einen bekann- 
soh en der ner k4 -icnen aut ei- 

, lerweile als kostengunstige Massenware zur Vertugu 
verwendet werden kann. 

Dle wesentlichen Unberschiede zwiscben einer CPU wie sie in 
a l!en gangigen Co^ubem els zentrale Kecbnereznberb zu fzn 
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* •„„, GPU wis sle insbasonaare au( Graphikkarten 
den « una ; r 3 . dlmensionaler Siiadaten in a- 

» " andl 7 ^ lulgan Varwannnng finaat. eei aur waite- 

Fxguren 1 und 2 erlautert . 

•o in Flour 1 aufgezeigt 1st. besteht aus ei- 

d „it baliabigan Datan gefflllt wardan konnan) , a! 
Stl T f r=h Qua- dia Datan vorausschauana nbar dan uatan- 
Z I TS:^ and da. Uatan-Bus-Xntar^ waicbas 

schnittstallankarta, Fastplatte, CD ROM , a ' 

CPU Ut anf aia saguantialle Baarbartung von Datan 9 

• v, a«, die einzelnen Einhaiten aar GPU 
Pigur 2 zaigt aautUcb, aasa d» « ^ 
in For. ainar PipaUna angaandn a a » *. ^ ^ 

wardan hiardnroh saqnantiall dnrah aia , 
nanntan Shadann, dar GPU gaschoban. D». waeantUchan 
einar GPU laaaen aicb wia folgt baschra.ban: 
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20 



25 
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Die Vektorrechnung wird in der sogenannten Geometrxe 
_ Die Vektor dre idxmensxo- 
Pipeline vorgenommen. Dxese standardm a 6 ig i»- 

vektoren zu verarbexten. Sollte die st 

Tartan Mathoden far dan jawailigan Algorithms nrcht 
plamantiartan Metho progr ar»miarar dnrch spa- 

au sreiahan, konnan - und angepa3St 

^fische Programme (Vertex- snaaei; 

: In Daanrch kannan Jada* Pixal baati^ta Proton- 
weraen. uau. wpr den und dadurch 

sentfemungen und Rechnung zugeordnet ^ 
Entzerrungen und Perspektiven rekonstruxert warden. Jede 
Entzerrunyc di V ektorrechnung 

Art von Bildverarbeitungsalgorxthmxk, dxe ve 

teinhaltet (z.B. dreidimensionale Rekonstruktxon exner Sze 
bexnnaltec ^z.c ., Aor -\ kan n von diesen Exn- 

na durch Auswertung von Stereobxldern) kann 
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a i «A*r ersetzt werden. Konkrete An- 
heiten unterstutzt und / oder ersetz 

wendungen siene ^ sogenannten Textur- und Pi- 

- *« Farbmi tr ^ 2 L "nnen Farbwerte nacb be- 
X el-Shadem statt. Diese Sh verschieben oder farb- 

lich e ^™*l e [ t auf dem Markt ve rfugbaren GPU bis zu 
stehen be! den derzeit a eine 
4 Te xtur-Einneiten zur Verfugung, so das ^B. 
Oeometrie mebrere Texturoperatxonen gleicb eit - 

0 -den k*nnen. ^^Z^ ^ ~ «" 

mit einander verbunden werden P nsvergleich identi . 

Vergleich von Farbwerte oder dem versch iedenen 

^ - n^r parbwertkombinationen xn verscnie 
sober Farbwerte oder Farbw unterst utzt und 

Bildern beruhen konnen von diesen 
15 / oder ersetzt werden. 

— n-sr.-s.rr =rr-"" 

... * Berecbnung eines Elements (z.B. em 
wahrend der Berecnn y k6n nte sicb evtl. 

angelegt und danach wieder geloscbt (dies ko 

. Da die emzelnen Elemen Be arbeitung irrelevant. 

j st die Reihenf olge der Bearoeit y 
tet werden, ist die k Paralleli- 

sierung der Bearbeitung rr . a£i kkarte konnen des- 

^ erreic ht werden Wnnen. der G r*fx*Ka ^ 
hal b »ehrere Einneiten untergebracht werden 
„.„. GraphiKKarten haben beisp^lswexse b» 
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Garten g ~~ — Einb6iten 

*ur CPU be. einer GPU nicnt vor h anden. 

:::::: rrrr., M , r: r r :=k r 

v araroe it un g sa lg or ltta r* an , * 
" * ~ Be9ri " de " t-n nacUend ^sp^art 9 an- 

aeeiqnete CPU's angefuhrt: 

9 Lorce* Serie der ,1- Corporation 
. „Porce Serie der Fir»a HVlCm Corporation 

ParheUa-512 GPU der Fi™a Hatro* Graph.es Inc. 
- parnexi* Technologies Inc. 

_ ATI RADEON GPU der F«« unit^ (VPU) der Fl» 3D-Labs 
_ Wildcat VP Visual Processing Unit (VPU) 
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Inc. 

20 



sustain ale „nnan g ende Hardware- 

nlt diese* Graphs zugeordn ate Biidapaiohar 

» Pariphara »eisprel*» ^ a ^ syst „ ltmg op- 

od ar each spazraU e aus GP „-Pro»aasor 

timi arta CPUs, va— ^ - ^ ^ 

alt 2 u g eh6« g er Hardware Pa p ^ 

Graphito rte ----- ^a L 1 inatac^arta raaU- - 

siert wxrd. An S telle so o vst etne aus GPU- 

. 4 r v, dass solche Systeme 

gleichwohl auch moglich, das geme insame Einheit 

Pr02 essor und Hardware-Peripherxe als e.ne g 
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dir e*t auf de„ Motherboard dee Co^utersyeteea reali.iert 
sind. 

^■nhafter Weise erhalt das erf inderischen 
tt besonders vortexlhaf ter Wex Bilddaten di . 

Bildverarbeitungssystem d e u vera ^ 

rekt durch eine Kameraexnhext gelxefert, w 

Heitfahige Kamerabildverarbeitung realxsxeren lasat xns 
echtzextfanxge * ahrze ug im Zusammenhang 

bes ondere - Kinsat, » ^ h J m 
mlt eine. Sicherhex t.- °*^^J^ ltollBW t« zur e £ - 

cher gespeicherten Kamerabildern heranzuzxehen. 

a nnrfall konnen sodann die Auswertungsergebnis- 
Je nach Anwendungsfall Bilda nzeige bei- 

^ot- n-ildverarbeitung sowohl auf exner o 
se der Bxldvera er da rgebracht werden, 

spielswexse exnern Kraftfanr g 

Oder auch in besonders vortexlhaf ter We Grundlage 
einheiten weitergeleitet werden, welche auf ^xeser 

f .nrisre Svsteme einwirken, um bexspxelswexse exn 
:l ^ ^ den Bilddaten erkannten Hinders automaton 
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abzubremsen . 
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„ prfinderischen Bildver- 

arbeitungssyste.s xst e g e cf0 

Graphikprozessor e prog ^ 

l3 t. E1 ne solche GP l» und kfinnte 

Autgaben im Rahmen der Brldverarr, a Verarbeitu „ gs ab- 

.eraoptik, bestit-te Parameter der ™ 

GPU i^lementierten verarbeitungsalgorrthrcak ™™ 

den. *ndererseits last sich durch eine solche Parallel 
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• „n ichen graphischen Verarbeitungs- 
lung einer CPU zu der ^^Jj steiqern , inde* an- 
einheit GPU die V.r^it««-«»^ B I ldverarb eitung, 
st elle der ge.einhin flbUchan Abfolg ^ ^ ^ 

t^'t^ nor DMA von der J5.amej.ci ^ 
dargaatalt dasa Brld Reche „ainhaitan dar GPU 

u „d nach dar Aufbarartung durah Weiterverarb eitung 

«~ » ln dm HaUPt r r t u!al=a ut^ahrt wardan. So i* 
ge ladan warden, ganz °dar tarl ^ ^ 

- - Mb Z"Z'^ - in dan CPU-Hanptapaiobar au 
Bilddatan von dar Karcara Verarbeitungssc hrittan duroh 

la dan. Hiarsu wardan «*~ davon in eine „ odar men- 

^ CPU dia Bilddatan und/odar vsrsctote „, var- 

rer e dar GPU augaordnata Nach d ar Baarbai- 

arbeitet und gagebenanfalls auo a 

Daten wieder xn 

tung durob dia <3PU^ ™ wardan. Biasa waobaalsaiti- 

s dan Hauptsparobar dar ^ ^ M£orderungen 

ge Baarbaitung duroh CPU una e££li! ientan laple- 

des Algoritb.ua odar naoh Krrtarran axnar 
mantiarung mahrJaoh gasohahan. 

■tat mflaaan aua detn Grand, daas aina 
„ W ia baraita auvor ^ iBt , 

GPU i™ Gagansats an arna ^ bekannten 

*• ~ U TJI^ fung abga,ndart und au £ aina 
Tailalgorithman zur Brldvarar In beson . 

GPU .3 P azifisoba »lamantiarung angapaast ^ 
. -ih-fter Weise konnen hierdurch oie v 
25 ders vortexlhafter angepasst en Algorithmen auch 

die Shader-Strukturen de GPU ang P ^ zur Verf , gung 

die durch die Vertex- oder Textur 
gestellte Funktionalitat ausnutzen. 

, lein ^ as notwendige erf in- 
-,„ H aob £ olgand wird an tehraran ^^^^^ngsalgo- 
dariscba Vorgaban zur 
ri tb„an aut aina GPU-Hardwara-Struktur 
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^ob Unsanfabxar und .angalbaftan Einbau von Lxn an und Ka 
me racbipa antstahan Varzaxobnungan (Abbildungsfahlar) dxa 
r"al dar GPU, inzbasondara daran Pxxal-sbadam, untar Ver- 
„ on KaUbrationaaxgoritb^n aobnaU -e t »i,,, 

I gi ar wardan k5nnan. Hiarbai wardan aua dan Bxlddat*. dar 
Kalra dia Varzaiobnungsparan,atar b..ti— und bxaraus dxa 
^Ldigan Eaobanvorzobrittan bast im t. »ia ^ ^ 

wart in dan Hilda, varsohoban wardan ntoan, fur dxa Kalxbra 
t 1 Xgorxth.an. da.it dia Biiddatan nacb Eurobxaur dxasar 
S tu«a dar Bixdvararbaitung so voriiagan, als cb axa von axnar 
idealen Kamera entstammten. 



Farbmischung Pixel- 

~r»u ... .. r= - tr;..":,; 

acbanwarta fur baati^ta Baraxoha generxeren. E 
2U 4 Taxtur-Exnhaitan zur varfugung, so dasz z.B. au£ axna 
lltria (aiaba oban, .abrara xaxtnroparationan = dat 
wardan konnan. Sudan, k6nnan mahrara Einhaitan arxthmat aoh 

inaTdar varbundan wardan. Oparationan 
lm waitaatan Sinna, dia atwa auf da. Vargxaxob von Earbwart 
odar dan, Poaitxonsvarglaich idantieohar Earbwarta odar Earb 
oaer aem rv= Keruhen konnen von 

werttanbinationan in varsohxadanan Bxldarn bar 
di asan Einbaitan untarstatzt und / odar arzatzt wardan. 

Tr. r ar polatio "avarfabren 

—^-^7^1^- odar Grauzwiaohanwzrtan, etwa bax 
a nar Bi dgr^Landarung odar i. Eab.an dar Entzarrung von 
Uddatab, sind aabr aufwandxg und kSnnan - * 

' nur partxall (auf ainzalnen, vorhar baati-tan Bxldbaraxchan, 
ZZ -t wardan. Eia fast i^antiartan -t^atxons- 
funktionan, inzbaaondara dia Eunktionaxitat dar 
verbaaaaxx, dia gasa^tan Bilddatan, ao daaa varscbxadana Mgo 
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M ( etwa Kantenextraktionen,, die ^ 

hpssere Ergebnisse lietern. 
Strukturen angewiesen sind, bessere y 

v.v,,w=r Pixel au£summieren zu konnen, kann 
Dm Farbwerte benacnbarter part eigent l io ben Bestim- 

Ma intercelationsroutine entgegen inrer eig 
' f Werischer Weise so genutzt, dass zur gewunachten 

mg in erfxnder.scber ^ eines Bild- 

Ill F ^ r Lkaeinerb wird, wobei die CPU standard^ 
de Pixelwerte interpoliert . 

S^SSSiSmS--2!^i^ panoraI ,i S cbe Kameras, 

a . SpezieUe Ka^rageonetrxen „ geometrische MO - 

bestebend aus Spiegeln und Una n erforde g 

oc le qen Das direkt ttber DMA in die GPU geholte 

^a vekbe^ebe geieg. dies ••-^^'L 
Vertek-snader. oa die auSere ^ *~ ^ 

. a „ me . r ;a des aufgenommenen Biiaes enu f 
inneren Geometrie aes a a Die aufgenommene 

auboeatiscb Bekonstxuktien - - 
SO Bildg^e, die Blickxicbtung und der Us _ 
der geometrischen Anordnung konnen fre angeb 
sen sicb Biiddaten beliebiger Kamer.-Ans.chta ,nne 
autgeno^enen Raumes in diesen rucktransformeren. 
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■ he1 der Bildaufnahme durch eine panorami- 
wird -iepi--- ^ h I faraboloid , sond enn 
sche Kamera als eine andere geometr!- 

parboloid, s : 9 ; sich diese .auf die ein und 

sche ve™ ende o a «» ^ ^ 

dieselbe Art und Weise in 
chende Ergebnisse erzielen. 
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BeiS-H-SEiS^^^ di e unter da™ 

^^^^^^ 

vorh erigen PunHt .—ru - ^Ide ^ ^ 

wohl de £ inierten Geo^r.en Vaktorpun , t angegeben 

des giideie.en. <«-».» preim . 
werden Xann. kSnnen auch spxegelung ^ 

SPiel3 " e :;\:rd e einea Kranfab-eoges apiagdn 

eines «<* a"£ da n erreohne t werden, da die 

ZZZZ^ZL — . beiapi—e ana deren 
CAD-Daten, genau bekaimt sind. 

dan Pixain (es w.rd z.B. «ur R jedes 
; ganden veXtorgeo^rie-Baten nu, e ne Ve k «P 

yie «e Pixei angegeben), so *ann d» « * di e 

— ter TenenCr:::^:: d^ «. 

° — *; rP—^fnetuXion eb^indeb. 
den gegebenen Flachenpu ent sprechende 
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^^^^^T^^ -in, den BUC, 
Mr b eatimn,e Anwendungen Kann es «» bei „ ielswei3e urn eine 
punkt der Ka^era virtuell ,u ^ Beispiel 

^icbt in vogelperspeKtive »^«^ £ahrb „Uelen 
hie rau ist die ErXennung von fcucnerweiae 

„ird die Kamera SP ^ ^ aem 

zeugs eingebaut, so dasa de B c JJaM _ 

Blick das -^"^ die Fahrbah „stru*turen als 
perspeKtiviaeh gcrukturen im Bl ld wiederge- 

«*- ^ f lel 1st die Einbau^e, der BUC- und »icK- 

nicht mehr parallel. 1st die Vq _ 
wink el de, Ka„era be^t ao -n da B . ^ 
ge lperspe k ti.e u»gere=b„et ^ zurtckprojiz iert . 

r^ticnen elgoritbmisch auf die "raEe 

Das a o entetandenen Bild ^^^ndet md d eren 
dia s icb [ 3t abg ebildet. Burcb 

, Bildebene parallel zur serukt ure n in der strafiene- 

dl eaes Verfahren werden parallele strukture „ 
j „ ^^ilelen Ebenen als parallele 
rde^Bi — - reaultierenden Batensatz ab g ebil- 
*t Da es a l bei dieaer Vogelperspe.ti.en-Bereehnung u. 

oltrtscbe Kodelle handelt, *ann bierzu in gewxnn- 
5 ™~ T M ee die au£ graphiache Transformation optimierte 
bringender Weise die aut gr p „„ Tt „. shade r, genutzt 

rfi.r- rpu insbesondere der vertex snaoe 
. Hardware der GPU, ins verfahrensab- 
ue rden. Fur diesea Vorgeben inabeaondere awei 

. laufe denkbar: w^eaKLauf werden in ei- 

30 . eei B einen gewinnbringenden er — 1^ 

„e„ eraten Schritt eine Ebene featgelegj , tM 
na antapricbt. Hierzu das Brgebnia einer Ki 

de r Ka-era zur Definition d er Ebene ^ „ g 

d .h. ea iat eine .Nacbtubrung' der Ebene 
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der Ka,»era mdglieh, beispielsweise wahrend der Fahrt e« 
Kamera in einem Kraf tf abrreug . Daa Kamerabild wird nun ganz 
Oder in Taiian auf dia Ebana gelegt. Dia von der GPU sur Dar- 
stellung automatiscb durchgefuhrte Projektion erledigf die 
5 Rekonstruktionsaufgabe. 

- zum andaran ist as in abansoich vortailhaf tar Waiaa mag- 
Uch, dasa auf einer Ebana dar Projection, d.h. dem Kick- und 
Blickwinkel, entepreahend dia Textur-Koordinaten daa Bildea 
verandert wardan. Dies eraieit dan giaiahan Rekonstruktions- 
10 effekt. 

Weitere Anwendung solcher Rekonstruktionen neben der Spurer- 
kennung sind etwa Ruckf ahrkameras Mr Pkw, Transporter oder 
Lkw. Dabei wird das auf genommenen Bild in die Perspektive ex- 

u v Ai* h-ini-pr dem Fahrzeug zu schweben 
15 ner Kamera umgerechnet , die ninter aem 

scheint Bine weitere Anwendung ware die Uberwachung des to- 
ten Sichtbereichs direkt vor einem Lkw. Durch die hohe Sxtz- 
position des Fahrers und die hohe Scheibenunterkante ist der 
Raum unmittelbar vor dem Fahrzeug fur den Fahrer nicht em- 
20 sehbar. Durch eine oben angebrachte Kamera kann dieser Raum 
uberwacht werden. Eine hilfreiche Darstellung des 
den Fahrer ist wiederum eine Vogelperspektive, bei der die 
virtuelle Kamera vor dem Fahrzeug ,schwebt^. In den aufge- 
zahlten Beispielen wurde als Bildquelle eine normale, per- 
25 spektivische Linsenkamera angefuhrt. Es konnen jedoch genauso 
Bilddaten wie sie von einer panoramische und/oder orthogra- 
phische Kameras geliefert werden, verwendet werden. 

Ko rrelati ^n von Bildern 
,0 verfugt aine GPU Ober mehrere Textur-Snader. konnen auf ein^ 
facha Heise acbnaila Korrelationsroutinen, beispielswaise fur 
die stereobildvararbaitung auf der GPU realiaiart warden. 
Durah geeignete Versshiebung der Arbeitspunkte, barecbnet man 
an entsprechend versetzten Stellen in den jeweiligen Taxtur- 
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Stereobildverarbeitung zu erhalten. 
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i^ie^^^ 

m^BW-^^^ h . einen groSe n Dynamikbe- 

Moderne CMOS- und CCD-Karneras haben einen * 

•v. h es konnen lichtschwache und lxchtstarxe j 
reich, d.h. es konne Helligkeits- 
gleichzeitig abgebildet werden. Um dxesen g 
b ereich abzudecken, verwenden die Kamera exne 1 Bxt 

t - ^ a Rild Da viele Displays nur 8 Bic 

= 

_ • . anf a B it reduziert werden. Dies Kann 

Bit auf 8 Bit Bereich inner- 

le n berecbnet. ,ies ° v ^ab" gewabU ~- 

; den. Dann besteht dxe Aufg lnne rnalb der 12 Bit 

Uchtsituation geexgneten a Bit Bere- ^ 

zu bestir (z.B. die unteren • ^ sonnen . 
rahrt in einem Tunnel, die oberen 8 Bit be, 
ecnein, cde r Babrt in die ^^ZZ ^ 
0 tbode bleibt die ^^^Xs^ *r «ten- 

Bereiche geschieht Bll dteilen unter 

aitatsverteilung in ganzen Bud und/oder 
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•iwh last sich iedoch die Belichtungsrege- 
Besonders vorteilhaft last sicn je 

lung unter Zurbilf enabme einer GPU, insbesondere mttels de 
L Pixel-Shadem, realisieren. Die GPU it ubUcberwexse 
I die Verarbeitun. von Farbbiidern aus g ele g t. «. ^arb- 
bi ldverarbeitun g wird eine RGBA- Format verwendet Da bedeu 
ft es stenen jeweils 8 Bit fur Rot (R) , Grun (G) , Blau (B) 
^ einen Alpba-Kanal (A) zur Verdun. (Der Grafikkarten 
Marktfubrer NVIDIA erwa g t die 8 Bit pro Farbkanal Ms z 32 
Bit pro Farbkanal zu erweitern) . Wird in diesem Format .» 
LuLtbUd verarbeitet, so wird in jedem der an-e , 

0 und B der selbe, den Grauwert reprasentrerende Skalar ab 
^ t. I. Prinzip wird aiso das 8 Bit — tbiid dre^c 
L L zur Vrttgung stebenden Bildspeicber ab g ele g t Fur d e 
enlenden 4 Bit des Kamerabildes k6nnen nun die 8 B.t des Al- 
pba-Kanals verwendet werden. Durob g eei g nete Implement^, 
pna i>u» it Grauue rt 

werden aus den 8 Bit Grauwert im md 

i„ Alpha-Kanal wieder die ganzen 12 Bit Grauwert der Kamera 
in 2 GPU hergestellt. Da at.ndard.aSig a. Display-Ausgang 

ner GPU die zur Darsteliung zu bringenden RGB-Bildda en ale 
...it motion zur verfugung geateUt werden, 
di e entspreebende Auswabl der 

RGB -Grau.ertinformtion der Kamera und der 4 Bxt alpha-Grau 
Ltinfor^tion der Ka.era der gewunschte e Bit-Bar. , ohge- 
wShl t werden, der angezeigt werden soil. Dies ret gle chbe 

, deutend It der Beiiohtungssteuerung der Ka m era. Die 

Nation der 12 Bit Kamera-Werte in daa RGBA-Forrnat ge- 
schieht hierbei in der Regel dureh eine der GBU e 
CPU Die CPU-Last ist bei Anwendung dieses vortellha ten Ver 
fahrens zur Kamera-Belicbtungsregelung iedoch wesentUob ga- 

0 ringer, ale die bei der Belichtungssteuerung durch Intensz- 
tatsauswertung anfallende. Hinzu«. dasa der PCX- bzw^ 
AGP-Bus fur den Dm au£ 32 Bit Datenubertragung optxmiert 
ist Beim RGBA-Fom\at fallen genau dieae 32 Bit an, so daas 
aia'dreifache Bildubertragung (R-G-B) gerade Heinen NachteU, 
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•i v^Pt Daruber hinaus, konnen die Da- 
sondem einen Vortexl bietet ^ 

•«v,f anaezeiqt werden, mit 12 Bit in 
ten , dle n£t 9 Bearbeitung in 

der GPU rait dem gleicnen 

verarbeitung zur VerfOgung gestellt werden. 
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Pa t enta^pruche 



! Vorrichtung zur Bildverarbeitung, bestahend aus 
elner Einhait aur Vsrfugungsstellung von Bllddaten, 
s ail Kechnerainheit zur Erkennung von Objaktan » den Brld- 

tfner cfnbeit zur Waiterverarbaitung dar Erkennungsergebnis - 

^.rlurch gekennzeich.net, 
dadurcn g Erkennung der Objekte im wesent- 

m rlasa die Rechnereinheit zur Erlcennung u 

Ln aus sine™ Sraphik-Prozassor (CPU bzw. VPU, znsbason- 
d ere B it einer i- zugeordneten Hardware-Paripharre, basteht. 

2. Vorrichtung nach Anspruch 1, 

h aekennzeich.net, 

15 dLVinhart zur varfugungssteUung da, 

sentXichen aus aina* Ka m eras y ste n und/oder arna* BUdspa^har 

besteht . 

20 3 . vorrichtung nach sina* der vorhargahandan Snspruche, 
^»durch g e k a n n a a i c h n a t , 

r;. »— r,.r; — = 

25 kannten Objekte auf andere Systeme einwirkt. 

4 Vorrichtung nach eine. der vorhergehenden Anspruche, 
dadurch gekennzeichnet 
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v. ■ ^ Rildverarbeitungsaufgaben par- 
*» « "ntersrtt.ung be, den Bildvera ^ cpu 

allel zu dem Graphikprozessor erne frei prog 
angeordnet ist. 

5 5 . verfabren znr Bildverarbeitung^ t 
bei welchem Bilddaten znr verarbeitung 

in *~ <*. 

jekte erkannt werden, Meit erverar- 
10 und die Erkennungeergebniase an eine Einhext 
beltung weitergeleitet warden, h n e t 

d a d » r = h g e k e n n zj^i c b ne^, ^ ^ 

ten Hardware -Peripherie, ablaufen. 
6. verfahren nach Anspruch 5, 



20 



25 



-30 



, a d u r c h gekennzeichnet, 
las die Bilddaten durcb ein ^erasyete. nnd/oder amen 
Bildspeichar znr VerMgung geatellt werden. 

, Ver£abren nacb eine* der vorbargebendan Aneprucbe, 
dadurch g a k e n n a e i c h n e t , 

I da! Weiterverarbeitung der Brkennungaergebnra- 

aar Ver.ugnng ^eHb werden wa^ en ^der 
in den Bilddaten erkannten Ob 3 ekte aufi andere y 
wirkt . 

, verfabran nacb elnen, der vorbargahand Ansprucbe, 
dadnrch g e k « n n a e i o h n e t , 
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dass die GPU mit einer CPU in Verbindung steht, 

ZL*r Oder reminder «eise auf den VerarbeitungsabUuf 

in der GPU einwirkt. 

5 9 . verfahren nach Anspruch 8, 

v, rT^lcennzeichnet, 

' 3 ? Viiddaten via » .DireKt „ accees, ven der Ka- 
dass die BUddaten via ^ ^ 

- ode, eine. f^LeKt in den Hauptspei 

10 rvo:;l gegebenen £ a lls au £ u^ebrt und/oder 
erf olgt . 



15 



WO 2004/027707 



PCT/EP2003/010030 



1/1 




Figur 1 
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